本地运行

Moshi

Moshi是一款由法国Kyutai实验室开发的端到端实时音频多模态AI模型,具备听、说、看的能力,并能模拟70种不同的情绪和风格进行交流。Moshi具有多模态交互、情绪和风格表达、实时响应低延迟、语音理解与生成、文本和音频混合预训练以及本地设备运行等特点。它支持英语和法语,主要应用于虚拟助手、客户服务、语言学习、内容创作、辅助残障人士、研究和开发、娱乐和游戏等领域。

LM Studio

LM Studio是一个开源的本地大语言模型(LLM)应用平台,提供图形用户界面(GUI)和命令行界面(CLI),便于用户使用大型语言模型。LM Studio支持从Hugging Face等平台下载兼容的模型文件,并提供了一种“Playground”模式,用户可以通过该模式同时运行多个AI模型,以增强性能和输出。此外,LM Studio还具备模型发现功能,能够在应用首页展示新的和值得关注的LLMs

AI Dev Gallery

AI Dev Gallery 是一款由微软开发的开源 AI 工具集,集成于 Visual Studio 中,旨在帮助开发者快速集成端侧 AI 功能。它提供超过 25 个交互式示例,涵盖文本、图像、音频和视频领域,支持从 GitHub 和 Hugging Face 下载模型,并能在本地设备上高效运行。此外,工具集还具备代码导出功能,便于开发者将示例集成至自有项目中。

Whisper Input

Whisper Input 是一款开源语音输入工具,基于 Python 和 OpenAI Whisper 模型开发,支持多语言语音识别与实时转录。用户可通过快捷键操作录音并生成文本,具备翻译、自动标点、高效处理及本地运行等功能。适用于会议记录、教育、智能交互及媒体制作等多种场景。

MnnLlmApp

MnnLlmApp 是阿里巴巴基于 MNN-LLM 框架开发的开源 Android 应用,支持多种大语言模型在本地运行。具备多模态交互能力,可处理文本、图像、音频等多种输入输出任务。应用经过 CPU 推理优化,运行效率高,支持离线使用,保障数据安全。内置 Qwen、Gemma、Llama 等主流模型,适用于内容创作、智能助手、语言学习及创意设计等多种场景。

NobodyWho

NobodyWho是一款专为Godot游戏引擎设计的AI插件,支持本地运行大型语言模型(LLM),提供高效、安全的互动叙事功能。其核心特性包括本地化处理、GPU加速、多上下文支持、流式输出、采样器调节、语义嵌入、工具调用及记忆功能。适用于互动小说、动态对话系统及多线叙事等场景,帮助开发者构建更真实、灵活的游戏内容。

Omnitool

Omnitool是一款开源的AI桌面工具,提供统一界面整合多种AI模型,支持本地运行,保障数据隐私。兼容OpenAI、Stable Diffusion等主流平台,无需复杂配置即可实现图像生成、文本翻译、音频创建等功能。具备高扩展性,支持脚本和第三方工具集成,适用于从初学者到开发者的多场景应用,涵盖艺术创作、教育、企业开发等领域。

AingDesk

AingDesk 是一款开源的 AI 模型部署工具,支持一键安装上百款 AI 模型,降低使用门槛。具备联网搜索功能,提升回答准确性;提供模型共享与多语言支持,便于团队协作与跨语言使用。内置模型管理器,优化本地资源利用,适用于学习、办公及学术研究等多种场景。

Second Me

Second Me 是由心识宇宙开发的开源 AI 身份模型,支持创建个性化且私有的 AI 代理,代表用户的真实自我。它提供 Chat Mode 和 Bridge Mode 两种交互模式,适用于不同场景下的沟通与信息反馈。支持本地运行,保障数据隐私。Second Me 采用分层记忆模型、个性化对齐架构等技术,具备多角色适应、智能记忆管理和链式推理能力,广泛应用于个人助理、职业发展、社交互动、学习辅导

Google AI Edge Gallery

Google AI Edge Gallery 是谷歌推出的实验性应用,支持在 Android 设备上本地运行机器学习和生成式人工智能模型,无需联网。用户可切换不同模型,进行图像问答、文本生成、多轮对话等操作,并实时查看性能指标。应用支持自带模型测试,提供丰富的开发者资源,助力探索设备端 AI 的强大功能。